DeepLoop: Depth Scaling for Looped Transformers
深度循环：面向环式 Transformer 的深度缩放方法
🧭 环式 Transformer 深度缩放
Princeton University · University of California, Los Angeles
针对环式 Transformer 参数共享提出新的残差缩放规则，将 DeepNorm 指数从 1/4 提升到 1/2 以保证稳定训练
📌 工作参考价值（3 点）
- 在推荐模型的深度序列编码器（如使用共享层堆叠的 SASRec 变体）中，若采用多轮循环以扩展感受野而不增加参数，可直接套用 DeepLoop 的 α、β 缩放公式，避免因参数重复访问导致的训练不稳定。
- 对于生成式推荐中基于环式 Transformer 的序列生成解码器，该缩放规则保证长循环深度下的梯度更新平衡，使更深的推理计算（test-time compute）成为可行，从而提升生成质量。
- 在资源受限设备上部署大容量推荐模型时，可利用环式结构压缩参数存储，同时通过深度循环实现深度计算扩展，DeepLoop 提供了训练稳定性保障。